UniCon: A Unified Context-Centric Modeling Paradigm for CTR Prediction
UniCon：面向CTR预测的统一上下文中心建模范式
🧭 统一上下文建模 · CTR预测 ★ 深度解读
Meituan
将历史曝光列表与当前候选集统一为上下文单元，通过分层注意力建模上下文内局部性与跨上下文动态
📌 工作参考价值（4 点）
- 上下文单元抽象：在电商搜索/推荐中，把每次展示列表（共现商品、位置、环境信号）组织成一个上下文单元，而不是把行为序列展平。这能显式建模同一曝光内商品的竞争/互补关系，以及跨曝光的状态演化，对货架、瀑布流等强上下文场景特别有用。
- 历史与目标结构对齐：训练时历史曝光带点击标签，目标候选集用可学习占位符对齐，再通过曝光和绝对位置预测辅助任务将目标单元引导到真实展示分布。这套做法可以迁移到重排或生成式推荐中，让候选集表示更贴近最终展示情境。
- 目标感知的上下文压缩：在长历史序列中，每层用target-context的query-key相似度选择保留top-k个最相关的历史上下文单元，大幅降低attention计算量而几乎不损失精度（压缩比0.5时计算减少75.4%，AUC仅降0.0001）。这对长序列用户建模很有借鉴价值。
- 工程化细节：padding-free变长注意力、segment offsets表示上下文边界、AOT编译和融合算子，以及候选分片策略（固定300个候选一个分片），这些是让高计算量上下文模型上线可行的关键。训练和推理使用一致的分片规则也很重要。